科目名

□情報理論・確率論

担当教員

宮﨑明雄

対象学年

2年

クラス

[166]

講義室

１２１０６教室

開講学期

前期

曜日・時限

月１

単位区分

選択

授業形態

単位数

準備事項

備考

講義概要/Class Outline

情報の効率よい表現、伝送、記憶等の方式を追求するための数学的基礎を与える情報理論について、話題をディジタル関係にしぼり講義する。情報理論を理解するためには確率の概念が必要であるため、まず、確率論の基本的な用語や定理について例題等を多く用いて解説する。次に、ディジタル情報の量を計る単位として「ビット」を定義し、この単位を用いて情報量、通信容量、情報源符号化、通信路符号化に関する理論を展開する。また、誤り検出符号や誤り訂正符号など符号理論の初歩についても述べる。

講義計画 /Class Structure

回内容

1 講義の概要
シャノンの情報理論、情報を確率・統計的に扱うこと、情報量を定義できること、情報源符号化と通信路符号化、情報を効率的に記憶・伝送できること

2 確率論の基礎（１）
集合、試行、試行列と事象、確率と確率空間

3 確率論の基礎（２）
確率変数と確率分布、確率変数の平均値（期待値）と分散

4 確率論の基礎（３）
条件付確率、確率変数の独立性

5 確率論の基礎（４）
確率分布（一様分布、二項分布、幾何分布）、大数の法則、確率論のまとめ

6 情報理論・情報源符号化（１）
情報源のモデルと情報源符号化問題、情報源符号、符号化、復号、瞬時符号

7 情報理論・情報源符号化（２）
クラフトの不等式、符号空間、一意的に復号可能な符号、平均符号長とエントロピー

8 情報理論・情報源符号化（３）
情報源符号化定理、いろいろな情報源符号（ハフマン符号、コンパクト符号、ランレングス符号、2-パスハフマン符号化、ZL(Ziv-Lempel)符号）

9 情報理論・情報量とエントロピー（１）
情報量、情報量の従う方程式、エントロピー

10 情報理論・情報量とエントロピー（２）
条件付エントロピー、相互情報量

11 情報理論・通信路符号化（１）
通信路符号化の限界、通信のモデル、通信路容量、ベイズの定理、最尤復号化

12 情報理論・通信路符号化（２）
２元対称通信路とその通信路容量・最尤復号化、平均誤り率

13 情報理論・通信路符号化（３）
通信路符号化、情報速度、通信路符号化定理

14 符号理論入門
パリティチェック、剰余演算、パリティチェック符号、長方形符号、三角形符号、ハミング符号、誤り訂正の仕組み

学習・教育目標/Class Target

１．確率論の基礎を理解し、確率の計算ができる。
２．情報源のモデル化、情報源符号化の原理、情報源符号（ハフマン符号）の作り方を理解している。
３．情報量とエントロピーの概念を理解し、情報源のエントロピーの計算ができる。
４．条件付エントロピーと相互情報量の概念を理解し、これらの計算ができる。
５．通信路のモデル化ができ、通信路の誤り率が計算できる。
６．通信路容量、通信路符号化の原理を理解している。

評価基準/GradingCriteria

秀：上記の項目について総合的に90％以上を満たす。／優：上記の項目について総合的に80％以上を満たす。／良：上記の項目について総合的に70％以上を満たす。／可：上記の項目について総合的に60％以上を満たす。

評価方法/GradingMethod

定期試験（60％）と小テスト・演習・レポート（40％）から算出した評点をX、定期試験（100％）から算出した評点をYとする（それぞれ100点満点）。XとYのうち高得点の方を、すなわちMAX(X，Y)を評点として採用し、本科目の成績を評価する。

受講上の注意/Class Rules

高等学校で習った順列と組合せ・確率（数学A）を復習しておくこと。確率と確率分布（数学C）についても習った人は復習しておくこと。離散数学Ⅰ（集合など）も復習しておくこと。授業内容について必要なノートをとり、整理復習すること。

受講制限/Prerequisit